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摘要 : 【 目的 ] 提 出 一 种 具有 语义 发 现 功 能 的 移动 视觉 搜索 方法 , 实现 数字 图 书馆 视觉 资源 内 容 和 语义 信息 的 全 
搜索 。 [方法 ] 采 用 BIBFRAME、 关 联 数据 和 图 像 处 理 技术 获取 视觉 资源 的 语义 信息 和 特征 信息 , 通过 关联 数据 
对 特征 信息 和 语义 信息 进行 关联 , 实现 移动 视觉 搜索 和 语义 搜索 的 融合 。[ 结果 】 实 验 结果 表明 , 系统 较 好 地 实 
现 了 对 视觉 资源 内 容 和 语义 的 搜索 ,弥补 了 传统 移动 视觉 搜索 在 语义 方面 的 不 足 。[ 局 限 】 系 统 在 检索 效率 上 还 
存在 不 足 ,， 特征 处 理 算法 和 SPARQL 检索 过 程 还 需要 进一步 优化 。[ 结论 】 本 文 提出 的 移动 视觉 搜索 系统 能 够 
较 好 地 实现 视觉 资源 内 容 和 语义 的 关联 与 搜索 ,为 数字 图 书馆 语义 信息 发 据 和 服务 模式 创新 提供 了 一 种 新 的 


方式 。 
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1 3 引 


随 着 移动 互联 网 的 快速 发 展 , 便携 化 、 智 能 化 移 
动 设备 的 迅速 普及 , 互联 网 用 户 开始 加 速 从 PC 端 向 
移动 端 迁移 。 根 据 CNNIC 发 布 的 第 38 次 《中 国 互联 
网 络 发 展 状况 统计 报告 站 ,中 国手 机 网 民 规模 达 6.56 
亿 , 92.5% 的 网 民选 择 通 过 手机 上 网 。 移 动 互 联网 的 崛 
起 极 大 改变 了 信息 获取 与 分 享 方式 , 对 整个 互联 网 生 
态 系统 产生 了 重大 的 影响 。 数 字 图 书馆 作为 互联 网 的 
知识 存储 、 组 织 和 传播 中 心 , 受 移动 环境 影响 , 在 资源 


了 中 


迫切 需要 一 种 更 有 效 的 资源 检索 方式 。 移 动 视觉 搜索 
(Mobile Visual Search, MVS) 是 采用 移动 设备 传感器 提 
取 视 觉 对 象 , 通过 移动 网 络 进行 视觉 资源 库 检 索 的 信 
息 获 取 方 式 趾 。 作 为 一 种 数据 驱动 和 任务 导向 的 创新 
型 互联 网 服务 模式 , 移动 视觉 搜索 优化 了 视觉 资源 的 
建设 、 组 织 和 呈现 方式 , 为 图 书馆 知识 服务 带 来 了 巨 
大 的 创新 与 变革 门 。 

受 互联 网 环境 影响 , 现 有 的 移动 视觉 搜索 更 多 关 
注 的 是 视觉 处 理 技术 , 而 忽视 了 对 视觉 资源 语义 信息 
的 研究 。 与 互联 网 碎片 化 的 信息 不 同 , 数字 图 书馆 在 


类 型 和 获取 方式 上 发 生 了 显著 的 变化 。 一 方面 , 受用 
户 需 求 影 响 , 视觉 资源 数量 不 断 增加 ,成 为 数字 图 书 
馆 资 源 的 重要 组 成 部 分 。 另 一 方面 , 传统 基于 关键 词 
的 检索 方式 已 经 无 法 适应 不 断 增加 的 视觉 资源 类 型 ， 


究 成 果 之 一 。 


资源 语义 描述 和 结构 化 组 织 方面 有 巨大 的 优势 。 专 业 
人 员 编 辑 的 书目 数据 为 视觉 资源 提供 了 丰富 的 语义 信 
息 , 这 些 信 息 在 揭示 视觉 资源 内 涵 ， 发 现 视觉 资源 关 
联 方面 发 挥 着 重要 的 作用 。 对 数字 图 书馆 而 言 ,视觉 
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搜索 不 能 仅仅 是 简单 的 以 图 搜 图 ， 更 应 该 通过 搜索 发 
现 视觉 资源 背后 丰富 的 语义 知识 。 语 义 搜索 一 直 是 图 
书 情 报 界 研究 的 热点 ,本 体 和 关联 数据 是 目前 较为 成 
熟 的 解决 方案 , 在 资源 的 概念 化 描述 、 关 联 数据 编码 
和 语义 检索 方面 有 许多 标准 、 技 术 和 研究 案例 可 供 借 
鉴 。 鉴 于 此 , 本 文 研 究 首 先 对 移动 视觉 搜索 、 关 联 数 
据 的 发 展 和 应 用 进行 梳理 。 在 此 基础 上 提出 一 种 视觉 
搜索 和 语义 搜索 相 结 合 的 数字 图 书馆 移动 视觉 搜索 方 
法 。 该 方法 融合 了 关联 数据 、 本 体 和 图 像 处 理 技术 ， 
支持 以 视觉 资源 为 对 象 进行 语义 信息 和 相关 资源 的 
搜索 。 最后, 通过 搭建 实验 系统 对 本 文 所 提 方 法 进行 
检验 。 


2 相关 研究 概述 


2.1 移动 视觉 搜索 概述 

移动 视觉 搜索 作为 一 种 新 兴 的 知识 获取 和 呈现 方 
式 , 其 产生 和 发 展 得 益 于 移动 网 络 、 设 备 的 普及 和 视 
觉 搜索 、 移 动 搜索 等 相关 技术 的 成 熟 四 。 移 动 设备 高 
性 能 的 摄像 尖 和 传感器 ， 能够 实时 捕捉 各 种 视觉 对 象 ， 
随时 接 入 泛 在 的 无 线 网 络 , 为 移动 视觉 搜索 提供 了 最 
佳 的 运行 环境 中。 另外, 随 着 图 像 处 理 、 人 工 智能 等 技 
术 的 成 熟 , 视觉 资源 的 处 理 不 再 是 难以 逾越 的 鸿沟 ， 
先进 的 视觉 特征 处 理 和 识别 技术 为 移动 视觉 搜索 的 发 
展 提供 了 坚实 的 基础 。 

移动 视觉 搜索 作为 传统 视觉 搜索 在 移动 网 络 的 延 
伸 ， 其 继承 了 已 有 的 视觉 特征 处 理 方 法 ,同时 也 面临 
一 些 新 的 问题 。 

(1) 搜索 效率 问题 。 传 统 视觉 搜索 需要 复杂 的 特 
征 处 理 和 检索 过 程 ,然而 移动 设备 有 限 的 处 理 和 传输 
能 力 极 大 限制 了 视觉 资源 的 搜索 效率 。 对 此 , 人 研究 者 
主要 从 系统 结构 和 特征 处 理 两 个 方面 进行 研究 。 系 统 
结构 方面 ,移动 视觉 搜索 普遍 采用 C-S 的 运行 模式 中 
人 研究 者 通过 合理 分 配 处 理 流程 减少 网 络 传输 消耗 的 时 
间 。 在 特征 处 理 方 面 , 针对 常用 的 SIFT、PCA-SIFT、 
SURF 等 算法 ,研究 者 提出 了 视觉 特征 压缩 1、 
自 适 应 网 络 带 宽 [ 趾 和 视觉 词 袋 库 分 解 ( 等 多 种 改进 
方法 。 

(2) 语义 搜索 问题 。 由 于 “语义 鸿沟 ”的 存在 , 视觉 
资源 的 语义 搜索 一 直 是 困扰 研究 者 的 难题 。 对 此 , 微 
软 等 提出 通过 深度 学 习 的 方式 训练 机 器 对 图 像 特 征 进 


数据 分 析 与 知识 发现 
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应 用 认 


行 识别 外 ,这 种 方式 虽然 能 够 较 好 地 识别 图 像 内 容 , 但 
仍然 无 法 解决 图 像 深层 语义 的 发 现 问 题 。 

移动 视觉 搜索 具有 广阔 的 发 展 前 景 ,许多 
研究 者 从 视觉 资源 建设 、 视 觉 搜索 机 制 和 视觉 搜索 框 
架 等 视角 出 发 探索 了 其 在 数字 图 书馆 知识 服务 中 的 应 
用 。 张 兴旺 等 外 从 内 涵 、 分 类 和 架构 等 方面 分 析 了 移 
动 视觉 搜索 的 构建 和 运行 机 制 ,提出 车 干 重要 问题 的 
解决 方案 。 张 亭 亭 等 上 将 众 包 模式 应 用 于 数字 图 书馆 
移动 视觉 资源 库 建 设 ,从 任务 设计 、 激 励 机 制 设计 和 
质量 控制 等 方面 提出 了 数字 图 书馆 移动 视觉 搜索 众 包 
模式 的 建设 方法 。 刘 木林 等 (结合 关联 数据 技术 提出 
数字 图 书馆 移动 视觉 搜索 的 MVSMVC 框架 。 除 上 述 
研究 主题 外 ,笔者 认为 面 对 抽 象 的 数字 图 书馆 视觉 资 
源 , 深层 语义 的 识别 和 搜索 同样 是 移动 视觉 搜索 迫切 
需要 解决 的 难题 。 目 前 , 基于 本 体 、 关 联 数 据 的 语义 
描述 、 组 织 和 搜索 是 图 书馆 领域 研究 的 热点 ， 如 果 能 
够 引入 这 些 技 术 则 可 以 有 效 弥 补 移动 视觉 搜索 在 语义 
方面 的 不 足 ， 从 而 更 好 地 满足 数字 图 书馆 知识 服务 的 
需要 。 
2.2 ”关联 数据 概述 

根据 蒂 姆 ， 伯 纳 斯 . 李 对 语义 网 的 构想 ,关联 数 
据 将 为 所 有 资源 分 配 唯一 的 URL 资源 之 间 通 过 三 元 
组 进行 关联 ， 互联 网 被 整合 成 为 一 个 巨大 的 关联 数据 
库 , 通过 语义 搜索 进行 资源 检索 和 知识 发 现 0534。 关 联 
数据 作为 语义 网 的 核心 构件 ， 其 与 本 体 技术 的 结合 可 
以 有 效 解决 资源 的 语义 描述 和 组 织 问题 , 是 语义 搜索 
的 基础 。 关 联 数据 已 经 成 为 W3C 推荐 的 信息 发 布 、 
共享 和 连接 规范 I” 在 电子 商务 、 新 闻 传播 、 搜 索引 
擎 等 领域 得 到 广泛 的 应 用 。 例 如 : 百思买 (BestBuy) 公 
司 采用 GoodRelation 标注 电子 商务 页 面 ; BBC 采用 
RDF 发 布 网 页 信息 以 提高 内 容 的 重用 ; 美国 政府 网 站 
采用 RDF 和 本 体 发 布 机 构 数据 集 ; Google 等 公司 提出 
的 Schema.org 标准 文 持 使 用 RDFal.1 对 网 页 进行 语义 
标记 。 

在 图 书馆 领域 关联 数据 也 得 到 广泛 的 应 用 , 许多 
受 控 词 表 和 本 体 模 型 已 经 通过 关联 数据 进行 发 布 。 如 : 
美国 国会 图 书馆 采用 关联 数据 的 方式 发 布 了 《美国 国 
会 图 书馆 标题 表 》(LCSH)P9,， 德 国 国 家 经 济 图 书馆 发 
布 了 经 济 学 词 表 STW。 此 外 , DC、FOAF 、EVENT 和 
SKOS 等 常用 的 元 数据 和 本 体 词 汇集 也 已 经 通过 RDF 


进行 发 布 。 书 目 框架 (BIBFRAME) 是 美国 国会 图 书馆 
发 布 的 新 一 代 编 目 格式 上， 其 与 关联 数据 的 结合 将 可 
以 有 效 解决 图 书馆 资源 的 语义 描述 和 组 织 问题 ， 推 动 
图 书馆 知识 服务 向 语义 化 和 关联 化 的 方向 发 展 。 
国内 图 书馆 领域 对 关联 数据 的 研究 主要 集中 在 理 
论 探 讨 、 应 用 梳理 和 技术 探索 三 个 方面 。 刘 炜 等 它 2 
从 概念 、 内 涵 和 技术 现状 出 发 , 分 析 了 关联 数据 在 图 
书馆 领域 的 应 用 ,揭示 了 关联 数据 对 开放 书目 数据 和 
规范 控制 的 重要 意义 , 推动 了 关联 数据 在 国内 的 发 展 ; 
草 月 珍 等 外 通过 梳理 国内 外 关联 数据 研究 的 最 新 成 
果 , 提出 了 关联 数据 在 图 书馆 应 用 的 发 展 方向 ; 欧 石 
燕 等 ”7 结合 语义 网 技术 提出 了 关联 数据 在 图 书馆 资 
源 聚 合 、 语 义 数字 图 书馆 构建 和 自动 问答 系统 设计 等 
方面 的 应 用 ; 夏 染 娟 等 3 分析 了 传统 数据 存储 方式 
向 关联 数据 迁移 的 路 径 和 方法 ,提出 基于 关联 数据 的 
家 谱 服 务 平台 构建 方法 ; 陈涛 等 中 提出 关联 数据 的 可 


HH 


(Ej-> 语义 信息 构建 模块 > 关联 数据 编码 模块 
编目 数据 


预 处 理 模块 ”>| ”特征 抽取 模块 


视觉 资源 库 
有 预 处 理 模块 > 特征 抽取 模块 
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(1) 资源 构建 过 程 
视觉 资源 构建 主要 包括 : 视觉 特征 构建 和 语义 信 
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视 化 技术 实现 方法 ; 赵 夷 平等 结合 语义 分 析 方 法 提 
出 基于 关联 数据 的 相似 文献 发 现 方法 。 目 前 , 数字 图 
书馆 领域 对 关联 数据 的 研究 主要 集中 在 资源 语义 描述 
和 聚合 方面 , 将 其 应 用 于 移动 视觉 搜索 的 研究 还 很 少 ， 
尤其 是 在 系统 构建 方面 还 没有 实际 的 研究 案例 。 


3 ”基于 关联 数据 的 数字 图 书馆 移动 视觉 搜索 


3.1 系统 框架 

视觉 资源 分 为 静态 图 像 ( 图 片 ) 和 动态 图 像 (视频 ) 
两 种 类 型 ， 由 于 移动 环境 下 很 难 对 动态 图 像 进 行 搜索 ， 
所 以 现 有 的 移动 视觉 搜索 研究 普遍 以 静态 图 像 为 检索 
对 象 ,对 于 动态 图 像 可 以 将 其 分 散 为 多 张 静 态 图 像 进 
行 检 索 , 本 研究 提出 的 移动 视觉 搜索 系统 也 以 静态 图 
像 为 检索 对 象 。 该 框架 主要 包括 8 个 核心 模块 , 实 线 
箭头 显示 资源 的 构建 过 程 ， 虚 线 箭 头 显示 资源 的 检索 
过 程 ， 如 图 1 所 示 。 


RDF 数 据 库 
语义 信息 存储 模块 | ” 妇 - 沪 ”| SPARQL 检 索 模块 |-- -1 
个 : 


E 存 储 模块 < 特征 匹配 模块 


特征 库 


Ts 习 c 移动 网 络 


数字 图 书馆 移动 视觉 搜索 框架 


文件 进行 存储 , 并 提供 必要 的 数据 管理 服务 。 上 述 内 
容 主 要 分 析 了 视觉 特征 和 语义 信息 的 构建 过 程 ,然而 


息 构 建 两 个 部 分 。 视 觉 特征 构建 涉及 预 处 理 、 特 征 抽 
取 和 特征 存储 三 个 模块 。 首 先 , 预 处 理 模块 对 不 同类 
型 的 馆藏 视觉 资源 进行 处 理 , 生成 适合 特征 抽取 的 格 
式 ; 然后 , 特征 抽取 模块 对 预 人 处理 后 的 视觉 资源 进行 
特征 抽取 ; 最 后 , 特征 存储 模块 生成 该 视觉 资源 的 特 
征文 件 , 并 进行 统一 管理 。 语 义 信息 构建 主要 涉及 语 
义 信 息 构建 .关联 数据 编码 和 语义 信息 存储 三 个 模块 。 
首先 , 语义 信息 构建 模块 根据 图 书馆 领域 最 新 的 本 体 
模型 对 视觉 资源 进行 语义 描述 ; 然后 ,关联 数据 编码 
模块 对 生成 的 语义 信息 进行 序列 化 , 生成 机 器 可 识别 
的 RDF 文件 ; 最 后 , 语义 信息 存储 模块 对 生成 的 RDF 


要 实现 二 者 的 关联 还 必须 构建 视觉 资源 的 URI 索引 。 
URI 索引 指定 了 视觉 特征 和 语义 信息 之 间 的 关联 , 是 
视觉 搜索 和 语义 搜索 融合 的 关键 。 

(2) 资源 搜索 过 程 

视觉 资源 的 搜索 过 程 主要 包括 视觉 搜索 和 语义 搜 
索 两 个 环节 , 涉及 特征 匹配 和 SPARQL 检索 等 模块 。 
在 视觉 搜索 环节 ,系统 首先 采用 与 馆藏 视觉 资源 相同 
的 预 处 理 和 特征 抽取 方法 对 检索 对 象 进行 特征 提取 ; 
其 次 , 特征 匹配 模块 将 提取 到 的 检索 特征 与 特征 库 进 
行 匹配 , 确定 相似 度 最 高 的 视觉 资源 ; 再 次 , 特征 匹 
配 模块 对 URI 索引 数据 库 进行 检索 ,获取 相似 度 最 高 
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资源 的 URIL 随后 进入 语义 搜索 环节 , SPARQL 检索 模 
块根 据 获 取 的 URI 构建 语义 检索 式 ， 并 对 三 元 组 数据 
库 进 行 检索 ; 最 后 ,系统 将 检索 结果 以 可 视 化 的 方式 
返回 用 户 。 上 述 内 容 分 析 了 视觉 资源 的 发 现 过 程 , 在 
实际 应 用 中 其 可 以 与 手机 、 谷 歌 眼镜 等 移动 设备 传 感 
器 结合 ,通过 感知 用 户 检 索 意愿 ， 自 动 捕捉 用 户 眼 前 
场景 并 进行 搜索 ,搜索 结果 最 终 通过 视觉 、 文 字 等 方 
式 呈 现 给 用 户 。 
3.2 ”系统 模块 

(1) 预 处 理 模块 

预 处 理 模 块 主要 分 为 移动 端 和 服务 器 端 两 个 部 
分 。 移 动 端 预 处 理 模块 主要 负责 对 检索 图 像 的 像素 、 
纹理 、 灰 度 等 进行 调整 ， 以 适应 特征 抽取 的 需要 。 服 
务 器 端 预 处 理 模块 则 需要 面 对 更 加 丰富 的 馆藏 视觉 资 
源 类 型 ， 如 : 照片 、 电 影 、 插 图 等 。 对 于 图 像 的 处 理 可 
以 按照 与 移动 端 相同 的 方式 进行 , 而 对 于 视频 资源 的 


进行 统一 的 命名 和 管理 。 此 外 , 基于 视觉 词 袋 模 型 的 
匹配 方法 除了 需要 提取 视觉 特征 , 还 需要 对 特征 进行 
聚 类 生成 视觉 词汇 , 并 通过 视觉 特征 直方 图 对 资源 进 
行 匹配 。 对 此 , 视觉 特征 存储 模块 除了 需要 存储 视觉 
寺 征 ， 还 需要 在 此 基础 上 构建 视觉 词典 , 并 生成 每 个 
资源 的 视觉 直方 图 。 

(4) 特征 匹配 模块 

特征 匹配 模块 主要 负责 特征 匹配 和 URI 提 取 两 项 
功能 。 针 对 不 同 的 特征 描述 方法 , 特征 匹配 可 以 采用 
欧式 距离 、 汉 明 距离 、 视 觉 直 方 图 等 多 种 方法 , 相似 
度 最 高 的 图 像 即 为 视觉 搜索 环节 的 结果 。URI 是 关联 
数据 为 馆藏 资源 分 配 的 唯一 标识 , 是 实现 视觉 搜索 向 
语义 搜索 转移 的 关键 。 为 了 获取 视觉 搜索 结果 的 URL 
需要 构建 指定 视觉 特征 和 语义 信息 关联 的 URI 索引 。 
URI 索引 表 记 录 了 每 一 个 视觉 特征 对 应 的 馆藏 实体 ， 
通过 对 特征 名 检索 可 以 获得 对 应 的 实体 URI 名 称 。 

(5) 语义 信息 构建 模块 


Oy 
处 理 则 可 以 将 其 看 作 静 态 图 像 的 集合 进行 处 理 。 然 而 ， 


一 在 移动 网 络 环境 下 , 逐 帧 的 检索 方式 会 消耗 大 量 的 处 语义 信息 构建 模块 负责 对 馆藏 视觉 资源 进行 语义 
~ 理 时 间 , 所 以 本 研究 的 方法 是 从 视频 中 提取 有 代表 性 ”描述 和 组 织 。 为 适应 数字 图 书馆 领域 需要 , 本 研究 基 


本 。 ”的 图 像 进 行 预 处 理 ,从 而 将 对 视频 资源 的 搜索 转化 为 
二 对 少数 图 像 的 搜索 。 
(2) 特征 抽取 模块 


于 BIBFRAME 进行 概念 模型 的 构建 ,BIBFRAME 
是 美国 国会 图 书馆 发 布 的 新 一 代 书 目 本 体 , 提出 了 由 
作品 、 实 例 和 单 件 构 成 的 概念 模型 ， 以 及 丰富 的 类 和 
= 特征 抽取 模块 同样 分 为 移动 端 和 服务 器 端 两 个 属性 定义 YI， 如 图 2 所 示 。 此 外 , 本 研究 还 复 用 了 
a 部 分 , 虽然 其 功能 都 是 对 视觉 资源 特征 进行 描述 和 EVENTB1、FOAFB9、SKOSB3 等 常用 本 体 词 汇集 。 
人 抽取 , 但 移动 端 主要 负责 对 检索 图 像 进 行 处 理 ,， 抽取 - 

三。 的 特征 需要 上 传 服务 器 进行 特征 匹配 ; 服务 器 主要 


dcterms:references dcterms:isPartOf 


© 负责 对 馆藏 视觉 资源 进行 处 理 ,抽取 的 特征 交 由 特 


征 存储 模块 构建 特征 库 。 目 前 , 视觉 资源 存在 多 种 不 
同 的 特征 描述 和 抽取 方法 ， 如; 基于 颜色 、 纹 理 等 的 
全 局 特征 和 基于 关键 点 的 局 部 特征 等 。 对 此 ， 系 统 需 
要 结合 资源 的 类 型 选取 合适 的 一 种 或 多 种 特征 进行 
抽取 。 

(3) 特征 存储 模块 

特征 存储 模块 主要 负责 生成 检索 需要 的 视觉 特征 
文件 , 并 对 这 些 文件 构成 的 特征 库 进行 管理 。 受 特征 
匹配 方式 的 影响 , 特征 库 的 构建 方法 存在 较 大 差异 。 
SIFT 算法 是 一 种 局 部 特征 抽取 和 匹配 方法 , 其 采用 
128 维 的 特征 向 量 对 关键 点 进行 描述 , 并 通过 计算 欧 
式 距 离 进 行 匹 配 。 对 此 ,特征 存储 模块 需要 为 每 一 个 
视觉 资源 生成 由 关键 点 描述 信息 构成 的 特征 文件 , 并 
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bf:hasInstance bfinstanceOf 
bf:hasReproduction |bfhasDefivative 
ATrdfs:subPropertiesOf 


SA vy 
bf:reproductionOf Ederivat ed | 
translationOf/translation 


FF original VersionOf/original Version 
bf.hasItem bf.itemOf otherEditionOf/OtherEdition 


Nm ) dcterms:hasPart 
再 次 印刷 E 实 全 


单 件 


图 2 BIBFRAME 层次 概念 模型 
概念 模型 构建 主要 包括 类 、 实 体 和 属性 三 个 方面 


的 定义 。 类 的 定义 除了 名 称 、 描 述 外 还 包括 类 的 层次 、 
约束 和 关系 。 实 体 主要 依托 类 进行 定义 ,并 通过 属性 
进行 关联 。 属 性 分 为 数值 属性 和 对 象 属性 , 数值 属性 


表 1 概念 模型 主要 的 类 和 属性 


的 定义 包括 属性 的 定义 域 、 值 域 和 层次 , 对象 属性 除 
此 外 还 包括 对 特性 的 定义 。 主 要 的 类 和 属性 定义 如 表 
1 所 示 。 


el 
斋 


名 称 


相关 的 类 : Agent(Person、Organization、Meeting、Jurisdiction、Family)、Collect、Event、GenreForm、Identifier、 
Notation(MovementNotation 、Script)、Place(OriginPlace)、 WorkTitle、Topic、type、Contribution、Source 


Work 相关 的 对 象 属性 : genreForm、 notation、 place、 subject、 summary、 tableOfContents、 title、 type、 hasInstance、 hasPart、 reference、 


referenceBy、isPartOf 
相关 的 数值 属性 : awards 、date 、identifieBy、place 


Instance 本 
derivativeOf 


trackLanguage 


相关 的 类 : Barcode 、Identifier、ShelfMark 


相关 的 类 : Identifier、Carrier、Contribution、GenreForm、Identifier、IntendedAudience 、TableOfContents 
相关 的 对 象 属性 : carrier、genreForm、intendedAudience、notation、place、subject、summary、tableOfContents、title、 
publisher 、type、copyRightOwner 、instanceOf、hasItem 、hasReproduction 、reproductionOf、hasDerivative、 


相关 的 数值 属性 : awards 、date 、editionStatement 、identifieBy、place 、imageType 、textCoding 、textLanguage 、trackCoding、 


Item ”相关 的 对 象 属性 : barcode 、contirbution 、electronicLocator 、genreForm 、heldBy、Pplace 、shelfMark 、subject 、title 、itemOf 


相关 的 数值 属性 : custodiaHistory 、date 


(6) 关联 数据 编码 模块 

关联 数据 编码 模块 主要 负责 对 概念 模型 进行 序列 
化 , 生成 机 器 可 识别 的 RDF 文件 。 编 码 过 程 主 要 包括 
两 个 方面 : 

(DURI 分 配 。URI 是 关联 数据 为 每 个 类 、 属 性 和 实体 分 
配 的 唯一 标识 ， 能够 对 资源 进行 全 局 定位 ,是 构建 URI 索 
引 、 实 现 视 觉 搜索 和 语义 搜索 融合 的 关键 。 

(ORDF 编码 。RDF 是 W3C 发 布 的 语义 网 资源 描述 框 
架 ， 是 关联 数据 主要 的 编码 格式 。 RDF 采用 三 元 组 的 方式 对 
类 、 属 性 和 实体 进行 描述 ， 生 成 的 编码 文件 需要 上 传 语义 信 
息 存 储 模 块 。 此 外 , 本 研究 还 构建 了 owl:sameAs 属性 的 4 
个 子 属性 : sameEventAs、sameSubjectAs、sameAgentAs 和 
sameCollectAs, 分 别 用 于 相同 事件 、 主 题 、 作 者 和 集合 的 实 
体 关系 描述 。 

(7) 语义 信息 存储 模块 

语义 信息 存储 模块 主要 负责 对 关联 数据 编码 的 语 
义 信息 进行 存储 和 管理 。 由 于 关联 数据 采用 特殊 的 
RDF 格式 , 所 以 需要 专门 的 三 元 组 数据 库 进行 存储 。 
区 别 于 传统 的 关系 型 数据 库 , RDF 采用 XML 的 语法 规 
则 , 用户 可 以 方便 地 对 数据 结构 和 内 容 进 行 调整 , 具 
有 更 好 的 灵活 性 ,为 了 对 三 元 组 数据 库 进 行 管理 , W3C 
组 织 提出 SPARQL 语言 用 于 对 RDF 数据 进行 添加 、 
删除 和 查询 等 管理 操作 。 目 前 , 常用 的 三 元 组 数据 库 
是 Apache 公司 发 布 的 Jena TDB。 

(8) SPARQL 检索 模块 

SPARQL 检索 模块 主要 负责 对 视觉 搜索 的 结果 进 


行 语义 搜索 ,获取 视觉 资源 的 语义 信息 ,进行 基于 主 
题 、 作 者 等 关系 的 扩展 搜索 。 搜 索 过 程 主要 包括 两 个 
环节 : 

中 构建 SPARQL 检索 式 。 将 URI 说 入 事先 制定 的 
SPARQL 检索 规则 ， 并 提交 SPARQL 引擎 。 根 据 用 户 不 同 需 
要 ， 知 识 管理 员 可 以 设 定 多 条 检索 规则 ， 如 : 主题 检索 、 事 
件 检索 、 时 间 检 索 等 ; 

@ 进 行 语义 检索 。SPARQL 语言 具有 灵活 的 语法 结构 ， 
用 户 可 以 对 三 元 组 (主语 、 谓 语 、 客 体 ) 中 的 任何 部 分 进行 检 
索 。 区 别 于 传统 的 数据 库 检索 方式 , SPARQL 搜索 引擎 采用 
图 模式 匹配 的 方式 进行 检索 ， 具 有 更 高 的 关系 检索 效率 。 


4 数字 图 书馆 移动 视觉 搜索 系统 的 实现 


为 了 验证 上 述 移动 视觉 搜索 框架 ,笔者 搭建 了 有 具 
有 视觉 特征 处 理 和 语义 信息 搜索 功能 的 验证 系统 ,并 
选取 一 定 的 视觉 资源 构建 样本 库 、 特 征 库 和 语义 信息 
库 , 对 系统 的 运行 效果 进行 检验 。 验证 系统 架构 如 图 3 
所 示 。 
4.1 验证 系统 的 搭建 

(1) 样本 图 像 库 的 构建 

选取 20 个 系列 ，122 本 图 书 的 封面 作为 图 像 库 样 
本 ,首先 ， 对 选中 的 122 本 图 书 封面 进行 数字 化 ; 然后 ， 
对 生成 的 数字 图 像 进行 规范 化 处 理 , 调整 图 像 的 格 
式 、 分 辩 率 等 ; 最 后 ,对 每 一 张 图 片 进行 编码 , 分 配 唯 
一 的 图 像 号 。 
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预 处 理 和 特 


模型 构建 
和 编码 
(Protégé) 


特征 文件 库 征 抽取 
(SIFT) (OpenCV) 


和 Rs 
模块 (MySQL) 


Er (Crm 


编目 数据 JenaTDB+FusekitTomcat ! 知识 管理 员 
ER 构 ! 
图 3 移动 视觉 搜索 系统 架构 


(2) 特征 库 构 建 和 图 像 特征 匹配 

采用 OpenCV-2.4.13 开发 特征 提取 和 特征 匹配 模 
块 , 通过 MySQL5.7 存储 图 像 的 URI 索引 。OpenCV 
针对 Java 环境 提供 了 专门 的 JAR, 导入 项 目 并 设置 
DLL 库 的 引用 路 径 即 可 以 进行 调用 。SIFT 特征 的 提取 
主要 包括 : 特征 点 检测 和 特征 点 抽取 两 个 环节 。 特 征 
点 检测 主要 通过 调用 FeatureDetector 对 象 的 detect 朱 
数 , 特征 点 抽取 通过 调用 DescriptorExtractor 对 象 的 
compute 限 数 。 服 务 器 端 图像 库 特征 抽取 后 存 人 特征 
文件 库 , 移动 端 检 索 图 像 特 征 抽取 后 上 传 服务 器 进行 
图 像 匹 配 。 

寺 征 匹 配 主 要 包括 : 特征 点 匹配 和 特征 点 筛选 两 
个 环节 。 通 过 调用 DescriptorMatcher 对 象 的 match 孙 
数 进 行 匹配 ,匹配 结果 保存 在 MatOfDMatch 对 象 中 。 
针对 匹配 结果 通过 设置 距离 阔 值 ,筛选 出 较 好 的 匹配 
点 。 具 体 的 特征 匹配 代码 如 图 4 所 示 。 


--a. 特 征 抽取 过 程 -- 
Mat image_matl = Highgui.imread(“imagel_lib.pgm”);// 读 取 视 觉 资 源 库 图 像 
Mat descl = new Mat();// 建 立 MAT 对 象 以 存储 图 像 特征 描述 
FeatureDetector fdl = FeatureDetector.create(FeatureDetector.SIFT):// 建 立 特 征 检 测 对 象 
MatOfKeyPoint mkpl = new MatOfKeyPoint0;/ 建 立 关键 点 对 象 
Fdl.detect(image_matl,mkp1);// 进 行 特征 检测 
DescriptorExtractor del = DescriptorExtractor create(DescriptorExtractor SIFT):// 建 立 特 征 抽取 
对 象 
del.compute(image_matl,mkp1,desc1);// 提 取 SIFT 特征 
--b. 特 征 匹 配 过 程 -- 
Mat image_matl = Highgui.imread(“imagel_search.pgm7”);// 读 取 视 觉 资源 库 图 像 
Mat descl = new Mat0);// 建 立 MAT 对 象 以 存储 检索 图 像 特 征 描述 


DescriptorMatcher matchl = DescriptorMatcher create(DescriptorMatcherFLANNBASED):// 建 
立 匹 配对 象 

MatOfDMatch matchs = new MatOfDMatch0:// 建 立 匹 配 结果 对 象 
match1.match(descl.desc2.matchs):/ 进 行 匹 配 ， 匹 配 结果 保存 在 matchs 对 象 中 


图 4 特征 抽取 和 匹配 过 程 
根据 匹配 结果 选择 匹配 点 数量 最 多 的 特征 文件 ， 
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通过 特征 名 检索 获取 该 资源 的 URI， 如 图 $ 所 示 。 


--URI 提取 -- 
public static final String url=” jdbc:mysql:Wlocalhost3306/example _ db” 
public static final String name= com.mysqljdbc.Driver : 


public DBHelper(String sql){ 

Class.forName(name);// 指 定 连接 类 型 

conn= DriverManager.getConnection(url,user,password);// 获 取 连 接 
pst= conn.prepareStatement(sql);/ 锥 备 执行 语句 


Sql = “select uri from uri where uri="“http://www.semanticweb.org/visualsearch/ontologies#imag 
e1”;//SQL 语句 

dbl = new DBHelper(sq1):// 创 建 DBHelper 对 象 

ret= dbl.pst.executeQuery();/ 执 行 语句 ， 得 到 结果 集 


图 5 URI 提 取 过 程 


(3) 概念 模型 的 序列 化 
使 用 Protégé5.0 进行 概念 模型 的 构建 。 概 念 模 
型 序列 化 主要 包括 4 个 过 程 : 构建 概念 类 和 类 之 间 
的 层次 关系 ; 构建 对 象 属性 和 数值 属性 ， 设 置 
Domain Ranges 和 Characteristics; 添加 Instance， 构 
建 类 的 实例 ; 构建 实例 之 间 的 关联 。 序 列 化 结果 如 
6 所 示 。 

(4) 检索 平台 搭建 

采用 JenaTDB+Fuseki+Tomcat 的 架构 模式 , 搭建 
过 程 包 括 4 个 步骤 : 配置 Tomcat 服务 需 ; 在 Tomcat 
中 导入 Fuseki 的 WAR 文件, 将 其 发 布 为 Web 服 务 ; 开 
发 检索 界面 和 SPARQL 检索 模块 ; SPARQL 根据 匹配 
图 像 URI 进行 语义 信息 检索 和 扩展 检索 。 扩展 检 索 语 
句 如 表 2 所 示 , 调用 过 程 如 图 7 所 示 。 
4.2 ”实验 测试 

选取 一 张 含 有 图 书 封面 的 图 片 作 为 检索 对 象 提 
交 系 统 。 图 像 匹 配 后 ,排序 前 10 位 的 匹配 结果 如 图 8 
所 示 。 
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bfhasInstance 


Ns 
bf:contributor 
http://.../visualsearch/in stance20005 


vr:classification bfsummary 


Vy 


http://.…/Classification/ 中 图 分 类 :0212.1 


表 2 SPARQL 扩展 检索 式 


http://.../visualsearch/image20005 


bf:subject 


SA RE 
这 
心 四 


dc:type > 


dcterms:ispartOf 
bf:language 


http:/../Type/ 书 籍 
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~ > http://.…/Collect/ 万 卷 方 法 


http:/.../Agent/ 沈 尝 麟 
f: i 
oontnbntoc < Tttpy/ 二 gett 威 尔 进 


摘要 : 本 书 旨 在 为 


线性 模型 的 应 用 ， 进 
线性 
的 学 习 打 下 良好 的 基 


图 6 概念 模型 RDF 图 


E 础 。 


] 模 型 法 对 因 变 量 
做 智能 分 析 提 供 必须 的 工具 。 首 先 介 
绍 了 基本 的 统计 方法 ， 其 目 的 在 于 为 
而 为 以 后 的 简单 
和 多 元 回归 方法 的 理论 和 方法 


第 1 期 


类 型 丛 索 式 
前 级 PREFIX vr:<http://www.semanticweb.org/visualsearch/ 
ontologies#> 
Ns SELECT ?o WHERE {vr:image00001 ?p ?instace. 
义 信息 。. ; 
?instace vr:title ?0.} 
相同 事件 SELECT ?o WHERE {vr:image00001 vr:same 
有 人 
EventAs ?event. ?event vr:title ?0.} 
SELECT ?0 WHERE { vr:image00001 
相同 主题 Dr 
vr:sameSubjectAs ?subject. ?subject vr:title ?0.} 
:Found 22 matches, 
术 同 作者 SELECT ?0 WHERE {vr:image00001 R2 :Found 38 matches. R7 :Found 10 matches, 
目 乒 vr:sameAgentAs ?agent } R3 :Found 32 matches. R8 :Found 6 matches. 
“ 8 AEA | R4 :Found 26 matches. R9 :Found 5 matches. 
R5 :Found 26 matches. Rl0:Found 4 matches., 
SELECT ?o WHERE {vr:image00001 
相同 集合 vr:sameCollectAs ?Collective. 
?collective vr:collectiveTitle ?0.} 图 8 图 像 匹 配 结果 
A @ http://localhost8080/fuseki/example.html?tab=upload&ds=/visualsearch ”| 图 二 度 
--SPARQL 检索 -- 。 E 
String service =“http://localhost:8080/fuseki/visualsearch/query”;// 定 义 fuseki 查询 接口 Gini 人 语义 信息 搜索 结果 | “0 (四 相同 条 7 来 结果 


String queryString =“select ? wheref?work?p?o7 /定义 检索 式 


ResultSet results = qexec.execSelect();// 获 得 查询 结果 
results = ResultSetFactory.copyResults(results); 
ResultSetFormatter.out(System.out.results):} 


try(QueryExecution qexec = QueryExecutionFactory.sparqlService(service,queryString)){ 


计 方法 ， 其 目的 在 于 为 线性 禄 型 的 应 用 ， 进 而 ; 
er a 仅 对 


图 7 SPARQL 检索 过 程 


根据 匹配 结果 可 以 发 现 排名 靠 前 的 图 像 均 为 同一 
系列 的 图 书 , 在 封面 设计 上 具有 和 较 高 的 相似 性 , 而 相似 
最 高 的 图 像 与 检索 图 像 为 同一 本 图 书 ， 匹 配 结果 准 wr 
确 。 系 统 提取 相似 度 最 高 图 像 的 URI 进行 语义 信息 检 
索 和 扩展 检索 。 如 图 9 所 示 , 检索 结果 显示 了 图 像 完整 
的 语义 信息 , 而 基于 系列 、 主 题 和 作者 的 检索 则 显示 了 
资源 检索 的 范围 。 


应 


与 图 像 相 似 的 书籍 信息 , 扩展 了 


上 入 “基本 原理 1 均 信 分 析 : 基础 知识 复习 和 线性 祯 型 导言 2 简单 线性 回归 分 


摘要 本 书 旨 在 为 用 模型 法 对 因 交 量 做 智 能 分 析 提 典 必须 的 工具 。 首 先 介绍 了 基本 的 统 | nf 


析 : 单 自 认 时 线 性 回归 3 多 元 线性 回 眼 4 观察 问题 5 床 重 共 线性 5 模型 存在 的 
问题 7 曲线 捧 合 8 丰 线性 楼 型 号 论 9 指示 净重 10 定 闫 因 安 里 11 广义 线性 机 


SS 操作 与 应 


用 


二 


型 附录 A [全 


重庆 


(4) 相同 作者 搜索 结果 


析 一 回归 方程 引 论 


折 


(3) 相同 主题 搜索 结果 


Showing 1 to 3 of 3 entries 


[Showing 1 to 7 of 7 entries 


图 9 


系统 达到 预期 的 视觉 二 


语义 信息 和 扩展 搜索 结果 


实验 表明 , 研究 搭建 的 数字 图 书馆 移动 视觉 搜索 
看 义 的 搜索 效果 ,具有 较 高 的 
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视觉 特征 匹配 精度 和 语义 搜索 能 力 。 同 时 , 也 反映 出 
系统 在 检索 效率 上 存在 不 足 ， 这 主要 有 两 方面 原因 : 

(1) 本 研究 提出 的 移动 视觉 搜索 过 程 较 传统 的 关 
键 词 检 索 、 视 觉 搜索 更 为 复杂 ， 从 而 消耗 了 更 多 的 处 
理 时 间 ; 

(2) 特征 处 理 、 匹 配 算 法 和 语义 信息 搜索 过 程 还 
需要 进一步 优化 。 在 视觉 特征 处 理 方面 ,可 以 通过 对 
视觉 特征 进行 压缩 ,建立 视觉 特征 索引 以 提高 视觉 资 
源 的 匹配 效率 ; 在 语义 信息 搜索 方面 , 可 以 采用 Lucene 
建立 语义 信息 索引 ， 提 高 SPARQL 检索 的 效率 。 


S 结 语 


为 满足 移动 网 络 用 户 对 数字 图 书馆 资源 和 服务 的 
需求 , 本 研究 提出 一 种 视觉 搜索 和 语义 搜索 相 结合 的 
移动 视觉 搜索 方法 。 该 方法 融合 关联 数据 、 本 体 和 视 
觉 处 理 技 术 , 支持 以 视觉 资源 为 对 象 进行 语义 信息 和 
相关 资源 的 搜索 。 并 基于 该 方法 搭建 实验 系统 ， 对 系 
统 的 视觉 和 语义 搜索 效果 进行 检验 。 实 验 结果 表明 ， 
研究 提出 的 移动 视觉 搜索 方法 弥补 传统 视觉 搜索 在 语 
义 方面 的 不 足 ， 具有 和 较 好 的 视觉 资源 处 理 和 语义 检索 
功能 , 实现 了 数字 图 书馆 视觉 资源 从 内 容 到 语义 的 全 
搜索 。 研究 主要 存在 两 方面 的 不 足 : 主要 采用 SIFT 和 
欧 氏 距离 计算 进行 视觉 特征 的 描述 和 匹配 , 在 图 像 检 
索 效 率 和 精度 上 存在 不 足 ; 主要 针对 图 像 和 视频 设计 
概念 模型 ， 在 资源 描述 的 深度 和 广度 上 存在 不 足 。 后 
续 研 究 中 , 将 对 特征 描述 和 匹配 方法 进行 改进 ， 以 提 
高 系统 的 运行 效率 。 同 时 ,进一步 完善 现 有 的 概念 模 
型 ， 提 高 系统 的 语义 描述 能 力 。 
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Abstract: [Objective] This paper proposes a new method for the mobile visual search, which retrieves the visual and 
semantic information from the digital library Simultaneously. [Methods] First we used the BIBFRAME, linked data 
and image processing techniques to extract the Semantic and characteristics information from the visual resources. 
Second, we combined the visual and semantic search with the help of linked data. [Results] The proposed method 
Improved the performance of visual and semantic information retrieval. [Limitations] The system efficiency，the 
algorithm for feature identification, and the SPARQL retrieval procedure needed to be optimized. [Conclusions] The 
proposed method could successfully search visual and semantic information, which might create more innovative 
services for the digital library. 

Keywords: Linked Data Digital Library Mobile Visual Search Semantic Search BIBFRAME 
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